CodeHID: Learning an Addressable Hierarchical Code Index for Generative Code Retrieval
CodeHID:学习可寻址层次代码索引的生成式代码检索
🧭 生成式检索 · 层级语义 ID ★ 深度解读
Xiamen University
将代码检索重构为层级语义 DocID 生成,以 kNN 伪标签学习前缀语义结构,并在训练与推理侧联合引导路径选择。
📌 工作参考价值(4 点)
- 构建商品/内容语义 ID 时,不要只用 RQ-VAE 自重构;叠加 kNN 伪标签约束前缀共享,让相似 item 在浅层共享前缀、深层保留区分度,可形成类目/风格/价格带的多粒度索引。
- 生成式推荐/召回训练时,除标准 next-token DocID loss 外,挖掘 query-item 相似度 TopK 的 hard negative DocID,加 pairwise margin loss 和 teacher-student rank distillation,能明显提升 Top1 命中;工业界可复用双塔打分作为 teacher。
- 推理时先粗召回 TopB 候选 item 构建合法前缀 trie,再做约束 beam search,并用 query-item 相关性作为 prefix-level lexical bonus 微调 beam 打分,比全空间解码更稳定、低延迟。
- 采用 frozen encoder + LoRA decoder 架构,DocID 离线固定,线上只更新 query 到 DocID 的生成路径,适合快速迭代生成式召回模型。